Lịch sinh người làng Cao Dương, huyện Trần Lưu. Ông ham đọc sách, nhà nghèo không có nghề gì kiếm ăn nên làm người coi cổng ở làng. Dù ông không có địa vị cao nhưng những người hiền tài trong huyện không ai dám sai bảo coi thường ông. Người trong huyện đều gọi ông là người cuồng.